其他
采集器-百度人口迁徙数据
很多人写过如何通过代码获取百度人口迁徙数据,但是很多同学不愿意学代码,那完全可以通过采集器来尝试。这样利用采集器操作其实还可能会简单一些。
我直接参考了别人写过的代码,直接得到了人口迁徙数据url的规律。
https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=110000&type=move_in&date=20200314
加粗的部分是我们可以替换的部分,dt可以是省或者城市。id就是这个身份或者城市的id。type方式可以是迁入或者迁出,date就是时间。
所以第一步是你需要获取这些能得到城市的id号,其实就是行政区划代码。然后就是建立网址的拼接规则。这里只是一个示范,获取了城市或者省份id,就可以自定义一个列表了。这样就把每个城市或者省份循环一遍,也能把需要的时间循环一遍。
我们直接查看某一条连接的数据,可以用字符串截取的方式获取数据。
如果你发现是乱码,完全可以在数据处理—高级功能—编码/解码,就行字符串解码。让我们测试某一页的数据。效果很不错。
那么我们设置好时间,就可以直接获取数据了。获取数据之后,可以通过数据库的方式免费导出数据。《采集器数据导出方法》